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(54) Verfahren und Vorrichtunng zur Verdeckungsdetektion bei Bildsensorsystemen 



(57) Es werden ein Verfahren und eine Vorrichtung 
zur Verdeckungsdetektion bei Bildsensorsystemen vor- 
geschlagen, die aus wenigstens zwel Bildsensoren be- 



stehen, die im Wesentlichen dieselbe Szene aufneh- 
men. Unterscheiden sich wenigstens ein Bildmerkmal 
der jeweiligen Bilder unzulassig voneinander, wird ein 
die Verdeckung anzeigendes Signal erzeugt. 
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Beschreibung 

Stand derTechnik 

[0001] Die Erfindung betrifft ein Verfahren und eine 5 
Vorrichtung zur Verdeckungsdetektion bei Bildsensor- 
systemen, bestehend aus wenigstens zwei Bildsenso- 
ren. 

[0002] Bildsensorsysteme, die aus wenigstens zwei 
Bildsensoren bestehen, welche im Wesentlichen diesel- 10 
be Szene aufnehmen (sogenannte Stereo kamerasyste- 
me), werden zukunftig insbesondere im Kraftfahrzeug- 
bereich eingesetzt, z.B. im Rahmen eines Fahrerassi- 
stenzsystems zur Objekterkennung. Da die aufgenom- 
menen Bilder in nachfolgenden Systemen ausgewertet 15 
werden, muB das Bildsensorsystem fur eine sichere 
Funktion und fur eine Sicherstellung der Qualitat der Bil- 
der sorgen, seine eigene Funktionsfahigkeit testen, bei 
auftretenden Fehlern reagieren und insbesondere 
nachfoigende, die Bilder auswertenden Systeme uber 20 
das Auftreten und gegebenenfalls die Art des Fehlers 
informieren. Ein Fehlerzustand, welcher die Funktions- 
fahigkeit des Bildsensorsystems bzw. die Qualitat der 
gelieferten Bilder beeintrachtigen kann, ist die Verdek- 
kung des Sichtbereichs einer der Bildsensoren durch 25 
Storobjekte. Derartige Faile treten insbesondere im 
Kraftfahrzeugbereich auf, wenn beispielsweise bei Re- 
gen derScheibenwischerkurzzeitig durch das Kamera- 
bild lauft Oder die Windschutzscheibe vor einer Kamera 
verschmutzt ist. Eine solche Verdeckung hat beispiels- 30 
weise bei einer stereoskopischen Bestimmung von Ab- 
standen zu Objekten storeride Einwirkungen. 

Vorteile der Erfindung 

35 

[0003] Durch die Bildung eines die Verdeckung eines 
Bildsensors eines Bildsensorsystems anzeigenden Si- 
gnals bei unzulassigen Unterschieden in wenigstens ei- 
nem charakteristischen Merkmal in den von den wenig- 
stens zwei Bildsensoren aufgenommenen Biidern wer- *o 
den in vorteilhafter Weise Verdeckungen eines der Bild- 
sensoren erkannt und gegebenenfalls an nachfoigende 
Systeme weitergemeldet. 

[0004] In vorteilhafter Weise konnen daher diese ge- 
eignet auf eine solche Verdeckungsmeldung reagieren, 45 
beispielsweise indem sie bei einer stereoskopischen 
Bestimmung von Objektdistanzen die von den Verdek- 
kungen betroffenen Bilder ausblenden und auf eine Ob- 
jekterkennung verzichten. 

[0005] In vorteilhafter Weise wird die Verdeckung so 
durch Messung des Bildunterschiedes von wenigstens 
zwei Biidern eines Bildsensorsystems bestehend aus 
wenigstens zwei Bildsensoren ermittelt. Bei der Mes- 
sung des Bildunterschieds wird dabei in vorteilhafter 
Weise die ohnehin bestehenden Unterschiede in Folge 55 
von unterschiedlichen Sehwinkeln der Bildsensoren 
zwischen den Bildem berucksichtigt. Somit wird insbe- 
sondere zur Messung des Bildunterschieds ein sprung- 
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hafter Anstieg dieses Unterschieds ausgewertet. 
[0006] In vorteilhafter Weise wird dadurch das Bild- 
sensorsystem in die Lage versetzt, einen wichtigen 
Aspekt seiner Funktionsfahigkeit selbst zu uberprufen 
und bei Vorliegen eines Verdeckungsfehlers andere Sy- - 
steme zu informieren. 

[0007] " Als besonders vorteilhaft hat sich eine Mes- 
sung des Bildunterschieds direkt auf der Basis von 
Grauwerten des Bildes, etwa durch Bestimmung der Pi- 
xeldifferenzen oder durch Berechnung der Korrelation 
der Bilder oder anhand von Differenzen in sekundaren 
Bildmerkmalen wie beispielsweise dem Histogramm 
der Grauwerte, erwiesen. 

[0008] Vorteiihaft ist nicht nur die Anwendung der Ver- 
deckungserkennung bzw. Verdeckungsmeldung bei 
Stereokamerasystemen in Kraftfahrzeugen, sondern in 
alien den Bildsensorkonfigurationen, bei denen zwei 
oder mehrere Bildsensoren die gleiche Szene abbilden, 
sowohl im Bereich der Kraftfahrzeugtechnik als auch 
auBerhalb davon. 

[0009] Weitere Vorteile ergeben sich aus der nachfol- 
genden Beschreibung von Ausfuhrungsbeispielen bzw. 
aus den abhangigen Patentanspruchen. 

Zeichnung 

[001 0] Die Erfindung wird nachstehend anhand der in 
der Zeichnung dargestellte Ausfuhrungsform naher er- 
lautert. Die einzige Figur zeigt dabei ein Ubersichtsbild 
eines Stereo kamerasystems mit Auswerteeinheit, die 
zur Bildung eines die Verdeckung eines der Kameras 
anzeigenden Signals ausgestaltet ist. 

Beschreibung von Ausfuhrungsbeispielen 

[0011] Figur 1 zeigt ein Ubersichtsbild eines Stereo- 
kamerasystems mit einer ersten Kamera 1 und einer 
zweiten Kamera 2. Beide Kameras sind so angeordnet, 
dass sie dieselbe Szene abbilden, allerdings unter ei- 
nem etwas unterschiedlichen Sichtwinkel. Somit ermit- 
tein beide Kameras Bilder der beobachteten Szene, die 
sie uber die Datenleitungen 3 und 4 an eine Auswerte- 
einheit 5 abgeben. Die Auswerteeinheit 5 besteht aus 
mehreren Modulen, die im bevorzugten Ausfuhrungs- 
beispiel ais Programme eines Mikroprozessors oder 
mehrerer Mikroprozessoren ausgestaltet sind. Zur Ver- 
deckungserkennung sind jeder Kamera zugeordnete 
Merkmalsbestimmungsmodule 6 bzw. 7 vorgesehen, 
welche aus dem jeweils zugelieferten Bild wenigstens 
ein typisches Merkmal ermitteln. Ein Vergleichsmodul 8 
vergleicht dieses wenigstens eine Merkmal der beiden 
Bilder. Bestehen unzulassige Abweichungen, andert 
sich insbesondere der ohnehin bestehende Unter- 
schied sprunghaft oder uberteigt die Abweichung eine 
vorgegebene Schwelle, wird ein Fehlersignal erzeugt, 
welches uber die Datenleitung 9 an nachfoigende Sy- 
steme weitergegeben wird. In einem Ausfiihrungsbei- 
spiel ist ein Verzogerungselement 10 vorgesehen, wei- 
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ches ein Fehlersignal fur andere Systeme erst dann er- 
zeugt, wenn eine bestimmte Anzahl von Vergleichsope- 
rationen unzulassige Unterschiede zwischen den bei- 
den Bildern ermitteln oder dieses Ergebnis mit einer be- 
stimmten Haufigkeit auftritt (bei Auswertung sprungfor- 
miger Anderungen, wenn die Anderung eine bestimmte 
Zeit lang vorhanden bleibt). 

[0012] Je nach Ausfuhrungsbeispiel stehen als Bild- 
merkmale primare oder sekundare Bildmerkmale zur 
Verfugung. Ein Beispiel fur ein primares Bildmerkmal 
ware der Vergleich von Grauwerten einzelner Pixel, wo- 
bei ein Fehler dann erkannt wird, wenn der Unterschied 
der Grauwerte in einem oder einer vorgegebenen An- 
zahl von Pixeln sprunghaft sich andert, oder wenn der 
Unterschied einen vorgegebenen Schwellenwert uber- 15 
schreitet. Ferner kann der Bildunterschied durch Be- 
stimmung der Korrelationsfunktion der Bilder emnittelt 
werden, wobei bei einer fehlenden Korrelation, d.h. ei- 
nem entsprechenden Verlauf der Korrelationsfunktion, 
ein Verdeckungsfehier erkannt wird. Diese Situation 20 
wird anhand der GroGe und/oder Form der Korrelations- 
funktion bestimmt. Sekundare Bildmerkmale sind insbe- 
sondere die H istogramme der Grauwerte der beiden Bil- 
der, ausdenen bei unzulassigen Unterschieden im Rah- 
men der Vergleichsoperation das Fehlersignal abgelei- 25 
tet wird. Dabei wird z.B. eine sprungformige Anderung 
des Schwerpunktes des Histogramm oder seiner Form 
oder die nachfolgend beschriebenen Merkmalsvekto- 
ren ausgewertet. 

[0013] In der in der Figur dargestellten Ausfuhrung 30 
wird die Bildunterschiedsmessung uber eine Extraktion 
von Bildmerkmalen realisiert. Diese Bildmerkmale sind 
entweder die Histogramme der Grauwerte des jeweili- 
gen Bildes oder auch eine Listed etektierterObjekte. Die 
gewonnenen Merkmalsvektoren (Liste der Objekte, Li- 35 
ste der Grauwerthaufigkeit, etc.) werden dann im Ver- 
gleichsmodul miteinanderverglichen und durch ein Un- 
terschiedsmaG charakterisiert. Dieses Unterschieds- 
maS ist im einfachsten Fall ein AbstandsmaG zwischen 
den beiden Merkmalsvektoren oder das Skalarprodukt *o 
der beiden Vektoren. Uberschreitet dieses Unter- 
schiedsmaG beider Bilder- oder Merkmalsvektoren ei- 
nen vorgegebenen Schwellenwert, der die Bildunter- 
schiede durch die unterschiedlichen Sehwinkeln der 
Bildsensoren berucksichtigt, wird eine Verdeckung er- 
kannt. Diese Erkennung wird mittels des erzeugten Si- 
gnals zusammen mit den Bildern in geeigneter Weise 
an die nachfolgenden Systeme weitergemeldet. 
[0014] Eine typische Situation, bei welcher die Ver- 
deckung erkannt wird, ist die Verdeckung einer der bei- so 
den Kameras mit einem hinreichend groBen Gegen- 
stand. In diesem Fall signalisiert das Bildsensorsystem 
bzw. bei Einbeziehung des Bildsensorsystems in ein 
Gesamtsystem einen entsprechenden Fehler. 
[0015] Die beschriebene Vorgehensweise ist nicht 55 
auf die Anwendung von Bildsensorsystemen, die aus 
zwei Bildsensoren bestehen, im Kraftfahrzeug einge- 
schrankt. Vielmehr laGt sich die beschriebene Vorge- 
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hensweise mit den entsprechenden Merkmalen aus au- 
Berhalb der Kraftfahrzeugtechnik einsetzen, ferner bei 
Systemen mit mehr als zwei Kameras, bei denen die 
Vergleiche der Bilder der einzelnen Kameras unterein- 
5 ander erfolgt. Voraussetzung ist lediglich, dass die ver- 
wendeten Bildsensoren dieselbe Szene aufnehmen. 

Patentanspruche 

10 

1. Verfahren zur Verdeckungsdetektion bei Bildsen- 
sorsystemen, wobei wenigstens zwei Bildsensoren 
vorgesehen sind, die im Wesentlichen dieselbe 
Szene aufnehmen, dadurch gekennzeichnet, 
dass ein die Verdeckung eines Bildsensors anzei- 
gendes Signal erzeugt wird, wenn die von den Bild- 
sensoren erzeugten Bilder in wenigstens einem 
Merkmal unzulassig voneinander abweichen. 

2. Verfahren nach einem der vorhergehenden Ansprii- 
che, dadurch gekennzeichnet, dass das zu ver- 
gleichende Bildmerkmal das Histogramm der Grau- 
werte des jeweiligen Bildes ist. 

3. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, dass das Bildmerkmal eine Liste von er- 
kannten Objekten ist. 

4. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, dass das Bildmerkmal die Grauwerte 
einzelner Pixel des Bildes ist. 

5. Verfahren nach Anspruch 4, dadurch gekenn- 
zeichnet, dass die Bildunterschiede aus den Grau- 
werten des Bildes durch Bestimmung von Pixeldif- 
ferenzen oder durch Bestimmung der Korrelation 
der Bilder ermittelt werden. 

6. Verfahren nach einem der Anspruche 2 oder 3, da- 
durch gekennzeichnet, dass die Bildmerkmale 
als Merkmalsvektoren dargestellt werden, die mit- 
einander verglichen werden, 

7. Verfahren nach einem der vorhergehenden Anspru- 
che, dadurch gekennzeichnet, dass aus den er- 
mittelten Bildmerkmalen ein UnterschiedsmaG der 
beiden Bilder ermittelt wird und dieses Unter- 
schiedsmaG mit einer vorgegebenen Schwelle ver- 
glichen wird, wobei bei Uberschreiten der Schwelle 
eine Verdeckung erkannt wird. 

8. Verfahren nach einem der vorhergehenden Ansprii- 
che, dadurch gekennzeichnet, dass ein unzulas- 
siger Unterschied in wenigstens einem Bildmerk- 
mal erkannt wird, wenn sich ein bestehender Unter- 
schied sprungformig andert. 

9. Vorrichtung zur Detektion von Verdeckungen in 
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Bildsensorsystemen mit wenigstens zwei Bildsen- 
soren, die im Wesentlichen dieselbe Szene aufneh- 
men, mit einer Auswerteeinheit, die die von den 
Bildsensoren erzeugten Bilder auswertet, dadurch 
gekennzeichnet, dass die Auswerteeinheit Mittel 5 
aufweist, welche ein Signal erzeugen, wenn wenig- 
stens ein Merkmai der Bilder der Bildsensoren un- 
zulassig voneinander abweicht. 

10. Vorrichtung nach Anspruch 9, dadurch gekenn- 10 
zeichnet, dass das Bildsensorsystem ein Stereo- 
kamerasystem im Kraftfahrzeug ist. 
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individual cameras among themselves takes place. A condition is only that the used image 
sensors take up the same scene. 

1. Procedure for covering detection with image sensor systems, whereby at least two image 
sensors are intended, which essentially take up the same scene, by the fact characterized that 
covering an image sensor indicating signal is produced, if the pictures in at least one 
characteristic, produced by the image sensors, deviate inadmissibly from each other. 

2. Procedure after one of the preceding requirements, by the fact characterized that the picture 
characteristic which can be compared is the histogram of the grey tones of the respective picture. 

3. Procedure according to requirement 1, by the fact characterized that the picture characteristic 
isa list of recognized objects. 

4. Procedure according to requirement 1, by the fact characterized that the picture characteristic 
is the grey tones of individual pixels of the picture. 

5. Procedure according to requirement 4, by the fact characterized that the picture differences 
from the grey tones of the picture are determined by regulation by pixel differences or by 
determination of the correlation of the pictures. 

6. Procedure after one of the requirements 2 or 3, by the fact characterized that the picture 
characteristics are represented as characteristic vectors, which are compared with one another. 

7. Procedure after one of the preceding requirements, by the fact characterized that from the 
determined picture characteristics a difference measure of the two pictures is determined and this 
difference measure with a given threshold is compared, whereby with exceeding of the threshold 
a covering is recognized. 

8. Procedure after one of the preceding requirements, by the fact characterized that an 
inadmissible difference in at least one picture characteristic is recognized, if an existing 
difference changes sprungfoermig. 

9. Device for detection by covering in image sensor systems by at least two image sensors, which 
essentially take up the same scene, by an evaluation unit, which evaluates the pictures produced 
by the image sensors, by it characterized that the evaluation unit exhibits means, which a signal it 
produces, if at least one characteristic of the pictures of the image sensors deviates inadmissibly 
from each other. 

10. Device according to requirement 9, by the fact characterized that the image sensor system is 
a Stereokamerasystem in the motor vehicle. 
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State of the art 



[ 0001 ] The invention concerns a procedure and a device for covering detection with image 
sensor systems, consisting of at least two image sensors. 

[ 0002 ] Image sensor systems, which consist of at least two image sensors, which essentially 
take up the same scene (so-called Stereokamerasysteme), become in the future in particular used 
in the motor vehicle range, e.g. in the context of a Fahrerassistenzsystems the object recognition. 
Since the taken up pictures in following systems are evaluated, the image sensor system must 
provide for a safe function and for a sicherstellung of the quality of the pictures, test its own 
operability, react in the case of arising errors and inform following in particular, the pictures of 
evaluating systems if necessary about the occurrence and the kind of the error. An error 
condition, which can impair the operability of the image sensor system and/or the quality of the 
supplied pictures, is covering the range of vision of one of the image sensors by breakdown 
objects. Such cases arise in particular within the motor vehicle range, if for example with rains of 
the windshield wipers briefly by the camera picture runs or the windshield before a camera is 
dirty. Such covering has for example with a stereoskopischen regulation from distances to 
objects disturbing effects. Advantages of the invention 

[ 0003 ] By the formation covering an image sensor of an image sensor system of indicating 
signal with inadmissible differences in at least a characteristic characteristic in of that at least 
two image sensors taken up pictures in favourable way covering one of the image sensors are 
recognized and to following systems passed on if necessary. 

[ 0004 ] In favourable way therefore these can react suitably to such a covering message, for 
example by fading out with a stereoskopischen regulation of object distances the pictures 
concerned by the covering and without an object recognition doing. 

[ 0005 ] In favourable way covering is determined by measurement of the picture difference by 
at least two pictures of an image sensor system consisting of at least two image sensors. During 
the measurement of the picture difference thereby in favourable way the differences in 
consequence, existing anyway, by different visual angles of the image sensors between the 
pictures one considers. Thus for the measurement of the picture difference a precipitous rise of 
this difference is evaluated in particular. 

[ 0006 ] In favourable way thereby the image sensor system is shifted into the situation to 
examine and inform when being present a covering error other systems an important aspect of its 
operability. 

[ 0007 ] When particularly favourably has itself a measurement of the picture difference directly 
on the basis of grey tones of the picture, approximately by determination of the pixel differences 
or by computation of the correlation of the pictures or on the basis differences in secondary 
picture characteristics as for example the histogram of the grey tones, proven. 
[ 0008 ] The application of the covering recognition and/or covering message is not only 
favourable with Stereokamerasystemen in motor vehicles, but in all the image sensor 
configurations, with which two or several image sensors illustrate the same scene, both within 
the range of automotive technology and outside of it. 

[ 0009 ] Further advantages result from the following description of remark examples and/or 
from the dependent patent claims. Design [ 0010 ] The invention is more near described below 
on the basis the execution form represented in the design. The only figure shows thereby a 
summary screen of a Stereokamerasystems with evaluation unit, which is out-arranged for the 
education of a signal indicating covering one of the cameras. Description of remark examples 



[ 001 1 ] Figure 1 shows a summary screen of a Stereokamerasystems with a first camera 1 and a 
second camera 2. Both cameras are in such a way arranged that they illustrate the same scene, 
however under a somewhat different viewing angle. Thus both cameras determine pictures of the 
observed scene, which they deliver over the data lines 3 and 4 to an evaluation unit 5. The 
evaluation unit 5 consists of several modules, which are out-arranged in the preferential remark 
example as programs of a microprocessor or several microprocessors. For covering recognition 
each camera is assigned determination of features modules 6 and/or. 7 intended, which determine 
a typical characteristic from the picture supplied in each case at least. A comparison module 8 
compares this at least characteristic of the two pictures. If inadmissible deviations exist, in 
particular the difference existing anyway changes precipitously or ueberteigt the deviation a 
given threshold, an error signal is produced, which over the data line 9 to following systems one 
passes on. In a remark example a delay element 10 is intended, which produces an error signal 
for other systems only then if inadmissible differences between the two pictures determine a 
certain number of comparison operations or this result with a certain frequency arises (during 
evaluation of sprungfoermiger changes, if the change remains long available a certain time). 
[ 0012 ] Depending upon remark example primary or secondary picture characteristics are 
available as picture characteristics. An example of a primary picture characteristic would be the 
comparison of grey tones of individual pixels, whereby an error is recognized if the difference of 
the grey tones in one or a given number of pixels changes precipitously, or if the difference 
exceeds a given threshold value. Furthermore the picture difference can be determined by 
determination of the correlation function of the pictures, whereby with a missing correlation, i.e. 
an appropriate process of the correlation function, a covering error is recognized. This situation 
is determined on the basis the size and/or form of the correlation function. Secondary picture 
characteristics are in particular the histograms of the grey tones of the two pictures, from which 
with inadmissible differences in the context of comparison operation the error signal is derived. 
E.g. a sprungfoermige change of the emphasis histogram or its form or those in the following 
described characteristic vectors is evaluated. 

[ 0013 ] hi the execution represented in the figure the picture difference measurement is realized 
over an extraction by picture characteristics. These picture characteristics are either the 
histograms of the grey tones of the respective picture or also a list of detected objects. The won 
characteristic vectors (list of the objects, list of the grey tone frequency, etc..) in the comparison 
module are then compared with one another and characterized by a difference measure. This 
difference measure is in the simplest case a spacer measure between the two characteristic 
vectors or the dot product of the two vectors. If this difference measure of both picture or 
characteristic vectors exceeds a given threshold value, which considers the picture differences by 
different visual angles of the image sensors, a covering is recognized. This recognition is passed 
on by means of the produced signal as well as the pictures in an appropriate way to the following 
systems. 

[ 0014 ] A typical situation, with which covering is recognized, is covering one of the two 
cameras with a sufficiently large article. In this case the image sensor system signals and/or 
during inclusion of the image sensor system into an overall system an appropriate error. 
[ 0015 ] The described proceeding is not reduced to the use of image sensor systems, which 
consist of two image sensors, in the motor vehicle. Rather the described proceeding with the 
appropriate characteristics can be begun out outside of automotive technology, furthermore in 
systems with more than two cameras, with which the comparisons of the pictures of the 



